Analyse, modélisation, et détection automatique des disfluences dans le dialogue oral spontané contraint : le cas du Contrôle Aérien

The disfluencies are a frequently occurring phenomenon in any spontaneous speech production; it consists of the interruption of the normal flow of speech. They have given rise to numerous studies in Natural Language Processing. Indeed, their study and precise identification are essential, both from a theoretical and applicative perspective.However, most of the researches about the subject relate to everyday uses of language: “small talk” dialogs, requests for schedule, speeches, etc. But what about spontaneous speech production made in a restrained framework? To our knowledge, no study has ever been carried out in this context. However, we know that using a “language specialty” in the framework of a given task leads to specific behaviours.Our thesis work is devoted to the linguistic and computational study of disfluencies within such a framework. These dialogs concern air traffic control, which entails both pragmatic and linguistic constraints. We carry out an exhaustive study of disfluencies phenomena in this context. At first we conduct a subtle analysis of these phenomena. Then we model them to a level of abstraction, which allows us to obtain the patterns corresponding to the different configurations observed. Finally we propose a methodology for automatic processing. It consists of several algorithms to identify the different phenomena, even in the absence of explicit markers. It is integrated into a system of automatic processing of speech. Eventually, the methodology is validated on a corpus of 400 sentences.Les disfluences sont un phénomène apparaissant fréquemment dans toute production orale spontanée ; elles consistent en l'interruption du cours normal du discours. Elles ont donné lieu à de nombreuses études en Traitement Automatique du Langage Naturel. En effet, leur étude et leur identification précise sont primordiales, sur les plans théorique et applicatif.Cependant, la majorité des travaux de recherche sur le sujet portent sur des usages de langage quotidien : dialogues « à bâtons rompus », demandes d'horaire, discours, etc. Mais qu'en est-il des productions orales spontanées produites dans un cadre contraint ? Aucune étude n'a à notre connaissance été menée dans ce contexte. Or, on sait que l'utilisation d'une « langue de spécialité » dans le cadre d'une tâche donnée entraîne des comportements spécifiques.Notre travail de thèse est consacré à l'étude linguistique et informatique des disfluences dans un tel cadre. Il s'agit de dialogues de contrôle de trafic aérien, aux contraintes pragmatiques et linguistiques. Nous effectuons une étude exhaustive des phénomènes de disfluences dans ce contexte. Dans un premier temps nous procédons à l'analyse fine de ces phénomènes. Ensuite, nous les modélisons à un niveau de représentation abstrait, ce qui nous permet d'obtenir les patrons correspondant aux différentes configurations observées. Enfin nous proposons une méthodologie de traitement automatique. Celle-ci consiste en plusieurs algorithmes pour identifier les différents phénomènes, même en l'absence de marqueurs explicites. Elle est intégrée dans un système de traitement automatique de la parole. Enfin, la méthodologie est validée sur un corpus de 400 énoncés

Etude de l'expérience du sujet pour l'évaluation de nouvelles technologies ;: l'exemple d'une communication médiée.

26 pagesThis text presents the interest of studying the subjective dimension of the cognitive and affective processes of users by an experiential methodology, based on their description of their lived experience. A case study decribes the use of a audio-video communication tool for mobile and remote interactions. Data, obtained by interviews (explicitation and self-confrontation) and by the video recording of the activity, are analysed in terms of cognitive and emotional moves of the users during three sequences of interactions. They indicate the complementarity of analysing the observable behavior and the subjective reports.Dans cet article est décrit l'intérêt d'étudier la dimension subjective des processus cognitifs et affectifsdes utilisateurs par une méthode expérientielle, basée sur la description de leur vécu par les utilisateurs. Une étude de cas décrit l'utilisation effective d'un instrument de communication audio et vidéo pour les interactions mobiles à distance. Les données, obtenues par des entretiens approfondis (explicitation et auto-confrontation) et l'enregistrement vidéo de l'activité, sont analysées en terme des mouvements cognitifs et émotionnels des utilisateurs durant trois séquences d'interaction. L'analyse de ces données met en évidence l'inconfortable dissymétrie générée par l'outil dans le contrôle de l'exploration visuelle, la difficulté à suivre les mouvements imprévisibles de l'autre, et la compensation d'états affectifs co-occurents. La discussion développe l'apport d'une méthodologie expérientielle pour étudier l'émergence des affects et leur rôle fonctionnel pendant l'activité, en regard de l'action et de la décision

Safe transfer learning for dialogue applications

International audienceIn this paper, we formulate the hypothesis that the first dialogues with a new user should be handle in a very conservative way, for two reasons : avoid user dropout; gather more successful dialogues to speedup the learning of the asymptotic strategy. To this extend, we propose to transfer a safe strategy to initiate the first dialogues

A Fitted-Q Algorithm for Budgeted MDPs

Workshop on Safety, Risk and Uncertainty in Reinforcement Learning. https://sites.google.com/view/rl-uai2018/We address the problem of bud-geted/constrained reinforcement learning in continuous state-space using a batch of transitions. For this purpose, we introduce a novel algorithm called Budgeted Fitted-Q (BFTQ). We carry out some preliminary benchmarks on a continuous 2-D world. They show that BFTQ performs as well as a penalized Fitted-Q algorithm while also allowing ones to adapt the trained policy on-the-fly for a given amount of budget and without the need of engineering the reward penalties. We believe that the general principles used to design BFTQ could be used to extend others classical reinforcement learning algorithms to budget-oriented applications

Transcription et annotation d'un corpus d'oral spontané avec le logiciel Transcriber © : illustration sur un corpus de formation

Intonation, Notation and Transcription for Oral structures : intonation softwareInternational audienc

Speech errors management in air traffic control communications: a detailed study

International audienceMany studies have reported on some human factors influencing the communication process, especially in aeronautical framework (see Davison (2003) for example). When spoken, communication comprises three different components: production, perception and understanding. The communication is often disturbed by one or many errors that affect one or several of these components. Consequently, one way to make air traffic control (ATC) communications more efficient and robust is to have as much knowledge as possible on these problems and their usual management. This paper presents the interests brought by corpus-based studies to Air Traffic Control (ATC) applications, especially interactions/communication between controllers and pilots. The corpus recorded represent dialogues during exercises where air-traffic controllers being formed interact/converse with people simulating pilots in practice. We propose error and strategies typology in accordance with the phraseology Then, we describe the principles and the specification adopted both for the recording and the annotation of corpus. Then, we report first results obtained from corpus analyses on errors and correction strategies of the air-traffic controller, and comment them in regards with ATC oriented applications

Traitement automatique de disfluences dans un corpus linguistiquement contraint

JEP/TALN/RECITAL 2009International audienceThis article presents a work of modeling and detection of phenomena disfluences. One of the specificity of this work is its framework: the air traffic control. We show that this particular framework implies certain choices about modeling and implementation. Thus, we find that modeling based on the syntax, often used in natural language processing, is not the most appropriate here. We explain how the implementation has been completed. In a final section, we present the validation of this device, made of 400 utterances.Cet article présente un travail de modélisation et de détection des phénomènes de disfluence. Une des spécificité de ce travail est le cadre dans lequel il se situe: le contrôle de la navigation aérienne. Nous montrons ce que ce cadre particulier implique certains choix concernant la modélisation et l'implémentation. Ainsi, nous constatons que la modélisation fondée sur la syntaxe, souvent utilisée dans le traitement des langues naturelles, n'est pas la plus appropriée ici. Nous expliquons la façon dont l'implémentation a été réalisée. Dans une dernière partie, nous présentons la validation de ce dispositif, effectuée sur 400 énoncés

Les marqueurs des structures énumératives sur le web : analyse pour la transmodalité

International audienc

Les marqueurs des structures énumératives sur le web : analyse pour la transmodalité

International audienc

Speech errors management in air traffic control communications: a detailed study

International audienceMany studies have reported on some human factors influencing the communication process, especially in aeronautical framework (see Davison (2003) for example). When spoken, communication comprises three different components: production, perception and understanding. The communication is often disturbed by one or many errors that affect one or several of these components. Consequently, one way to make air traffic control (ATC) communications more efficient and robust is to have as much knowledge as possible on these problems and their usual management. This paper presents the interests brought by corpus-based studies to Air Traffic Control (ATC) applications, especially interactions/communication between controllers and pilots. The corpus recorded represent dialogues during exercises where air-traffic controllers being formed interact/converse with people simulating pilots in practice. We propose error and strategies typology in accordance with the phraseology Then, we describe the principles and the specification adopted both for the recording and the annotation of corpus. Then, we report first results obtained from corpus analyses on errors and correction strategies of the air-traffic controller, and comment them in regards with ATC oriented applications